Ông là em trai của Lưu Giản Chi, tính hiếu học, đã soạn 20 quyển "Tấn kỷ". Cuối những năm Nghĩa Hi (405 – 418), làm Thủy Hưng tướng.

Người Đông Hải là Từ Đạo Kỳ lưu ngụ Quảng Châu, không làm quan, xung đột với những kiều dân cũ. Nhân thứ sử Tạ Hân mất, hắn tập hợp những kẻ không hài lòng để làm loạn, đánh chiếm Châu thành, giết những quan dân không theo hơn trăm người, khống chế quân đội địa phương, kêu gọi những kẻ vong mệnh; rồi đi đánh Thủy Hưng. Khiêm Chi đánh đuổi nghĩa quân, rồi đi dẹp Quảng Châu, giết hết bọn họ, vẫn coi việc Châu.

Ngay sau đó ông được dùng làm Chấn uy tướng quân, Quảng Châu thứ sử; về sau làm đến Thái trung đại phu.